Total Recall at What Cost? Benchmarking the Serving Cost of Agentic Memory Systems
全面回忆代价几何：智能体记忆系统服务成本基准测试
🧭 Agent 记忆系统成本与精度基准
Bricks Technology, Thailand
系统对比三种 agentic 记忆系统与滚动窗口/全量转录基线，发现成本不可由对话长度预测且成本-准确率无赢家
📌 工作参考价值（4 点）
- 长期对话 agent（客服、导购、推荐助手）引入记忆系统时，不要只按对话长度或消息大小预估成本；记忆系统的内部行为（抽取、总结、检索）才是主要成本变量，必须实测 profiling，否则成本可能偏差 18-69%。
- 上线前做 break-even 分析：对比全量 transcript 重发、固定滚动窗口和记忆系统的单轮 serving 成本，确定在会话多少轮后记忆系统才开始省钱；本实验中最便宜系统数十轮即可回本，最贵系统 400 轮内从未回本，选择错误会持续超支。
- 成本与准确率联合评估：642 个 LoCoMo 问题上各系统准确率仅 21-54%，没有系统同时占优；若业务对准确率敏感，先定准确率底线，再在满足底线的系统中选成本最低者。
- backbone 选择对成本的影响与记忆系统本身同样大，甚至可能抵消记忆系统的节省；做记忆系统选型时必须联合 backbone（如 GPT-4o vs. 轻量模型）一起压测，不能只换记忆系统而沿用原模型。